คาจิเกิดที่ซัปโปโระในวันที่ 8 ตุลาคม ค.ศ. 1951[4][5] พ่อของเขาทำงานเป็นวิศวกรที่บริษัทโทรคมนาคม ส่วนแม่เป็นลูกจ้างร้านกิโมโน คาจิเข้าศึกษาในโรงเรียนมัธยมชากูจิอิที่บ้านเกิด จากนั้นจึงศึกษาในสาขาวรรณกรรมที่มหาวิทยาลัยเคโอ แต่ดร็อปออกในช่วงปีแรก[4][6] หลังจากทำงานหลายอย่าง เช่น เป็นพนักงานขับรถ พนักงานเสิร์ฟ และคนงานก่อสร้าง เขาจึงเริ่มทำธุรกิจสิ่งพิมพ์[6]